2024年3月にリリースされたSnowflakeの新機能・変更点のまとめ #SnowflakeDB

2024年3月にリリースされたSnowflakeの新機能・変更点のまとめ記事になります。

※注意事項：本記事ではすべての情報についての記述はせず、特筆すべきだと感じた情報だけピックしております。基本的には以下の情報を参考にしておりますので、全ての最新情報を確認したい場合は下記のURLからご確認ください。

• What's New
• Behavior Change Log

March 29, 2024 — Data Quality Monitoring Release Notes

Data Quality Monitoring and data metric functions がパブリックプレビュー

これにより、テーブルデータの品質を調査・監視できるデータ メトリック関数 (DMF) の使用や、DMF をテーブルに割り当てることで、定期的な品質チェックが可能となります。スケジュールされた DMF を呼び出した結果は、DATA_QUALITY_MONITORING_RESULTSビューに保持され、結果を確認できます。

DMF として、テーブルカラムのデータの鮮度、重複、NULL、ユニーク数や、テーブルの行数などを返す関数が使用できます。

他にも、正規表現を使って独自のカスタム DMF を定義し使用することも可能です。

DMF については、チュートリアルも用意されています。ここでは、カスタム DMF によるメトリクスの取得を試すことができます。

March 28, 2024 — Snowflake Data Clean Rooms Release Notes

Snowflake Data Clean Room（以下、DCR）が米国の一部リージョンで一般提供となりました。

DCR により、複数の企業間でのデータ共有を安全かつプライバシーを保護しながら行うための管理された環境が提供されます。データ提供者は、DCR 内で共有するデータに厳格なポリシーを適用することで、特定の利用者との間でプライバシーを保護しつつ、データセットの結合を行うような分析が可能となります。

DCR については、以下もあわせてご覧ください。

また、公式から DCR のチュートリアルも用意されています。

March 26-27, 2024 — 8.12 Release Notes (with behavior changes)

ステージ、パイプ、ストレージ統合、ロール履歴、Snowpipe Streaming のレプリケーションが一般提供

ステージ、パイプ、ストレージ統合、ロード履歴、および Snowpipe ストリーミング チャネルのレプリケーションが一般提供されました。これにより、これらのオブジェクトを複製し、データ パイプラインのフェイルオーバーを構成できます 。詳細は以下をご参照ください。

メモ化可能関数で定数引数をサポート

これまでメモ化可能な関数には引数が含まれませんでしたが、引数の有無に関わらずメモ化可能な関数を定義できるようになりました。

引数を指定する場合、引数は以下のデータ型のいずれかの定数値である必要がある点にご注意ください。

• VARCHAR およびその他の文字列データ型
• NUMBER およびその他の数値データ型
• TIMESTAMP およびその他の日付データ型
• ブール値

Shared tag references ※一般提供

タグと共有オブジェクトが同じデータベース内にある場合に、タグとタグのついたオブジェクトをコンシューマに共有できる機能が一般提供になりました。これにより、コンシューマー側でも、テーブルとその列に設定されたタグから、共有オブジェクトのデータ機密性を理解できるようになります。

March 18 - 20, 2024 — Snowflake Native App Framework Release Note

Snowflake ネイティブ アプリの機能を試用版コンシューマー向けに制限できるようになりました ※パブリックプレビュー

Snowflake マーケットプレイスで Snowflake ネイティブ アプリを限定トライアル リストとして提供し、トライアル利用者が利用できる機能を制限したい際に、セキュアビュー、セキュア UDF、または Streamlit アプリにSYSTEM$IS_LISTING_TRIALシステム関数を使用することで、アプリの機能を制限できるようになりました。

これにより、トライアル向けにビューや UDF の出力、UI を変更することが可能となるため、試用版のコンシューマー向けに機能を制限した別のアプリケーション パッケージを維持する必要がなくなります。

詳細は以下の記事をご参照ください。

March 18-20, 2024 — 8.11 Release Notes

SELECT ステートメントの末尾のカンマがサポートされました

SELECT ステートメントやその列リストで末尾のカンマがサポートされるようになりました。これにより、以下のようなステートメントが許可されるようになります。

SELECT emp_id,
       name,
       dept,
FROM employees;

JSON ファイルをロードする際のパフォーマンスが向上しました

このリリースで、JSON ファイルロード時のパフォーマンス向上が発表でされました。ユーザーはクエリを変更することなく、ほとんどの JSON 読み込みシナリオで取り込み遅延が最大 25% 短縮されます。

March 15, 2024 — Streamlit in Snowflake Release Notes

Streamlit in Snowflake で Streamlit v1.26.0 をサポート ※パブリックプレビュー

Streamlit in Snowflake で Streamlit ライブラリの v1.26.0 がサポートされました。これまでは、v1.22.0 がサポートされていましたが、このアップデートにより、アプリごとに、Snowsight で Streamlit ライブラリのバージョンを選択したり、アプリのenvironment.ymlファイルでバージョンを指定できるようになりました。

また、v1.26.0 のサポートにより、以下の Streamlit 機能が使用可能になりました。

• st.chat_message
• st.chat_input
• st.status
• st.toggle
• st.data_editor
• st.column_config

March 13, 2024 — Hybrid Tables Release Notes

2024年2月のアップデートでプレビューとなっていた Hybrid Tables を利用可能なリージョンが追加されました。2024/4/4 時点で利用可能なリージョンは以下に記載があります。

Hybrid Tables について、現時点では通常のテーブルで利用可能なタイムトラベルなど、一部の機能がサポートされていないため、ご注意ください。

March 12, 2024 — Snowflake Cortex Classification Release Notes –— Preview

Snowflake Cortex ML 関数の分類（Classification）がパブリックプレビューとなりました。これにより、与えられたデータをあらかじめ定義されたカテゴリまたはクラスに分類するための分類モデルを SQL ベースのコマンドで構築できるようになります。モデルのアルゴリズムには、 すでに一般提供となっている時系列予測と同じ勾配ブースティングマシンが使用されます。

Classification も含め、2024/4/4 時点で 4 種類の Snowflake Cortex ML 関数が利用できるようになっています。

• Forecasting
  • 過去の時系列データの傾向から将来の指標値を予測
• Anomaly Detection
  • データ内の外れ値を検出し、フラグ付けを行う
• Contribution Explorer ※パブリックプレビュー
  • 指標(売上など)に影響を与えるディメンションはどれかを分析する

Forecasting による時系列予測については、以下の記事でも紹介されておりますので、あわせてご覧ください。

March 8, 2024 — Geospatial Functions Release Notes

GEOMETRYオブジェクト用の 2 つの新しい関数が利用できるようになりました。

• ST_GEOMFROMGEOHASH
  • ジオハッシュの境界を表すポリゴンの GEOMETRY オブジェクトを返します
• ST_GEOMPOINTFROMGEOHASH
  • ジオハッシュの中心点の GEOMETRY オブジェクトを返します

March 5, 2024 — Snowflake Cortex LLM Functions Release Notes –— Preview

大規模言語モデル (LLM) を活用した一連の機能を利用可能な Snowflake Cortex LLM 関数がパブリックプレビューとなりました。LLM を実行するインフラは Snowflake によってフルマネージドで提供されるので、ユーザーはコマンドからすぐに LLM を利用できるようになります。

パブリックプレビューとなった Snowflake Cortex LLM Functions については、以下の記事でも紹介されていますので、詳細はこちらもあわせてご覧ください。

March 04-05, 2024 — 8.9 Release Notes

Custom Classification ※パブリックプレビュー

カスタム分類がパブリックプレビューとなりました。

ユーザー側で分類したいデータのカラムのパターンに一致する正規表現の定義を追加したインスタンスを作成することで、データに対する分類結果の評価やオプションで自動タグ付けも行えます。以下の記事では、実際の手順がわかりやすく紹介されていますので、あわせてご参照ください。

Behavior Change Log

2024_03 バンドルが提供開始 ※デフォルトは無効化

8.12（2024/3/26 - 2024/3/27 リリース）で、2024_03 バンドルが提供開始となりました。先に挙動を確かめたい場合には手動でバンドルを有効化してテスト可能です。

このバンドルは、2024年4月のリリースでデフォルトで有効化される予定となっています。

2024_02 バンドルがデフォルトで有効化

8.12（2024/3/26 - 2024/3/27 リリース）で、2024_02 バンドルがデフォルトで有効化されました。このバンドルは、2024年4月のリリースで一般的に有効化される予定となっています。

2024_01 バンドルが一般的に有効化

8.12（2024/3/26 - 2024/3/27 リリース）で、2024_01 バンドルが一般的に有効化されました。

おまけ：Modern Data Stack全般の最新情報

Snowflakeも含め、Modern Data Stack 全般の最新情報についても、定期的にブログにまとめて投稿されております！こちらもぜひご覧ください。